Năm 1768 Bá Đa Lộc bị Mạc Thiên Tứ, Đô đốc Hà Tiên, giam cầm khoảng hai tháng vì bị buộc tội đã che chở cho một người thuộc hoàng tộc Xiêm La, kẻ thù của họ Mạc[5]

Ngày 11 tháng 12 năm 1769, dù đã trở thành linh mục giám đốc chủng viện tại Hòn Đất, khi chủng viện Hòn Đất bị quân Cao Miên tấn công đốt cháy, Bá Đa Lộc phải rời khỏi Đàng Trong cùng với linh mục Morvan và 13 nhân viên chủng viện để đi đến Malacca (nằm ở phía tây của Mã Lai, cách Singapore khoảng 200 cây số) rồi từ đó xuôi về hướng nam đến Pondichéry (nằm ở vùng đông nam Ấn Độ trong vịnh Bengale, nơi đã có nhiều cơ sở thương mại và hành chánh của Pháp từ năm 1673). Sau đó vào năm 1770, ông thành lập một chủng viện ở làng Virampatnam cách Pondichéry một dặm về hướng bắc[6].

Trong thời gian ở Pondicherry, ông tiếp tục trau dồi và trở nên thông thạo cả tiếng Hoa và tiếng Việt. Năm 1773, ông đã bắt tay biên soạn một bộ từ điển Việt-Latinh Dictionarium Anamitico-Latinum, được Jean-Louis Taberd xuất bản năm 1838. Năm 1771 ông được Giáo hoàng Clêmentê XIV tấn phong làm Giám mục hiệu tòa Adran và đồng thời được bổ nhiệm ông làm Giám mục Tông tòa, phụ tá cho Giám mục Guillaume Piguel. Nhưng cũng trong năm ấy, Giám mục Piguel qua đời ngày 21 tháng 6, Pigneau de Behaine thay thế Piguel rồi được bổ nhiệm làm Giám mục chính tòa tại Madras ngày 24 tháng 2 năm 1774 (Madras được đổi tên là Chennai năm 1996, là một hải cảng nằm trên bờ biển đông nam Ấn Độ tại vịnh Bengal), và ông lên đường trở lại Đông Dương ngày 12 tháng 3 năm 1775 với chức vị Giám mục Đại diện Tông tòa Đàng Trong.

Thời ấy, các linh mục giả trang làm đủ thứ nghề: thợ mộc, thợ nề, thợ đóng cối xay, thầy lang, bán thuốc thậm chí gánh nước thuê, người đi câu, lái buôn... để truyền đạo, và được sự trợ giúp tích cực của các thương nhân, thậm chí có lúc các giáo sĩ đào tạo chủng sinh trên các thương thuyền. Các chủng viện thời đó là nhà tranh vách đất thiếu thốn mọi thứ, thường bị di chuyển nơi này qua nơi khác, chủng sinh học đạo bằng tiếng Latinh các môn như: luân lý, giáo luật- giáo sử Công giáo, địa lý, toán pháp căn bản, và thiên văn học, nhưng việc học tập khó khăn vì thiếu sách vở và tự điển, và họ sống trong lo sợ bị cấm đạo.

Việc truyền đạo thường gặp khó khăn vì lý do ngôn ngữ bất đồng, nhưng cản trở chính là sự đòi hỏi người muốn tin theo Chúa Giêsu (tức Đức tin Kitô giáo) thì phải từ bỏ tục lệ thờ cúng ông bà tổ tiên, không lấy năm thê bảy thiếp mà chỉ một chồng - một vợ, ngoài ra còn những khó khăn hình thức khác như xây nhà thờ, đúc tượng, đúc chuông, tổ chức hệ thống họ đạo trên dưới quy củ, mang tên thánh bằng tiếng Pháp...

Về đến chủng viện Prambey Chhom trên một hòn đảo của sông Mékong ở tỉnh Kong-Pong-Soai, do Giám mục Piguel ra lệnh xây dựng từ đầu năm 1770, Giám mục Pigneau de Behaine ra lệnh di chuyển chủng viện Prambey Chhom từ Cao Miên về Việt Nam.